Chính sách tập thể của Stalin đã được chứng minh là có hại như Bukharin tiên đoán, nhưng Stalin đã đạt được quyền lực tối cao không thể bị thách thức trong đảng. Mặc dù Bukharin đã không thách thức Stalin kể từ năm 1929, những người ủng hộ cũ của ông, kể cả Martemyan Ryutin, đã soạn thảo và lưu hành một nền tảng chống Stalin.

Tuy nhiên, Sergey Kirov, Bí thư thứ nhất của Ủy ban khu vực Leningrad bị ám sát tại Leningrad vào tháng 12 năm 1934, và cái chết của ông đã được Stalin sử dụng như một lý do để khởi động cuộc Đại thanh trừng, trong đó có khoảng một triệu người đối lập bị Stalin loại bỏ. Một số sử gia bây giờ tin rằng vụ ám sát Kirov vào năm 1934 đã được sắp xếp bởi chính Stalin hoặc ít nhất là có đủ bằng chứng để kết luận một cách đáng tin cậy như vậy. Sau vụ ám sát Kirov, NKVD đã tấn công những người chống đối trước đây liên quan đến vụ giết Kirov và các hành vi phản quốc, khủng bố, phá hoại và gián điệp khác.

Vào tháng 2 năm 1936, ngay trước khi cuộc Đại thanh trừng bắt đầu, Bukharin đã được Stalin gửi đến Paris để thương lượng việc mua lại kho lưu trữ tài liệu của Marx - Engels, do Đảng Dân chủ Xã hội Đức (SPD) tổ chức trước khi bị giải thể bởi Hitler. Bukharin được vợ, Anna Larina, ngỏ ý khả năng lưu vong, nhưng Bukharin cho rằng ông không thể sống bên ngoài Liên Xô. Đối với người bạn thời thơ ấu của mình, Ilya Ehrenburg, ông đã bày tỏ sự nghi ngờ rằng toàn bộ chuyến đi là một cái bẫy được thiết lập bởi Stalin.

Sau khi xét xử và xử tử Zinoviev, Kamenev, và những người Bolshevik cánh tả khác vào năm 1936, Bukharin và Rykov bị bắt ngày 27 tháng 2 năm 1937 sau một cuộc họp của Ủy ban Trung ương và bị buộc tội âm mưu lật đổ nhà nước Liên Xô.

Bukharin đã bị xét xử trong phiên tòa vào ngày 2-13 tháng 3 năm 1938, cùng với cựu thủ tướng Alexei Rykov, Christian Rakovsky, Nikolai Krestinsky, Genrikh Yagoda và 16 bị cáo khác bị cáo buộc rằng Bukharin và những người khác đã tìm cách ám sát Lenin và Stalin từ năm 1918, giết Maxim Gorky bằng chất độc, phân chia Liên Xô và trao lãnh thổ cho Đức, Nhật Bản, và Vương quốc Anh.

Trong khi ở trong tù, ông đã viết ít nhất bốn bản thảo dài bao gồm một cuốn tiểu thuyết tự truyện trữ tình, triết học, một tập hợp các bài thơ, chủ nghĩa xã hội và văn hóa - tất cả đều được tìm thấy trong kho lưu trữ của Stalin trong những năm 1990.

Bukharin bị bắn vào ngày 15 tháng 3 năm 1938, nhưng thông báo về cái chết của ông bị lu mờ bởi Đức quốc xã đã sáp nhập nước Áo (Anschluss). Bất chấp lời hứa tha cho gia đình của mình, vợ của Bukharin, Anna Larina, được gửi đến một trại lao động, nhưng bà đã sống sót để thấy chồng mình được chính phủ Liên Xô phục hồi danh dự chính thức dưới thời Mikhail Gorbachev năm 1988.